IDF có nguồn gốc từ các tổ chức bán vũ trang Do Thái tại New Yishuv, bắt đầu với cuộc Aliyah lần thứ hai (1904 tới 1914). Tổ chức đầu tiên như vậy là Bar-Giora, được thành lập tháng 9 năm 1907. Nó được đổi thành Hashomer tháng 4 năm 1909, hoạt động cho tới khi Palestine Uỷ trị Anh bắt đầu tồn tại năm 1920. Hashomer là một tổ chức của tầng lớp tinh hoa với mục tiêu hạn chế, và được lập ra chủ yếu để bảo vệ chống lại các băng đảng trộm cướp. Trong Thế Chiến I tiền thân của Haganah/IDF là Zion Mule Corps và Quân đoàn Do Thái. Sau những cuộc bạo loạn của người Ả Rập chống người Do Thái tháng 4 năm 1920, lãnh đạo của Yishuv thấy sự cần thiết thành lập một tổ chức phòng vệ ngầm trên phạm vi cả nước, và Haganah được thành lập tháng 6 cùng năm ấy. Haganah trở thành một lực lượng phòng vệ ở quy mô đầy đủ sau cuộc nổi dậy của người Ả Rập tại Palestine 1936–1939 với cơ cấu được tổ chức, gồm ba đơn vị chính —the Quân đoàn Mặt trận, Quân đoàn Bảo vệ và Palmach. Trong Thế Chiến II hậu thân của Quân đoàn Do Thái từ Thế Chiến I là Lữ đoàn Do Thái.

IDF được thành lập sau khi Nhà nước Israel được thành lập, sau khi Bộ trưởng Quốc phòng và Thủ tướng David Ben-Gurion ra một sắc lệnh ngày 26 tháng 5 năm 1948. Sắc lệnh kêu gọi việc thành lập Các lực lượng Phòng vệ Israel, và bãi bỏ mọi lực lượng vũ trang khác của người Do Thái. Dù Ben-Gurion không có quyền lực pháp lý để ra một sắc lệnh như vậy, sắc lệnh này đã được nội các phê chuẩn trở thành hợp pháp ngày 31 tháng 5.[3] Hai tổ chức ngầm khác của người Do Thái, Irgun và Lehi, đồng ý gia nhập IDF nếu họ có thể hình thành các đơn vị độc lập và đồng ý không thực hiện những phi vụ mua vũ khí độc lập. Đây là bối cảnh cho cuộc tranh cãi dẫn tới Vụ việc Altalena, khi sau một cuộc xung đột về những vũ khí tổ chức này mua dẫn tới một trận đánh giữa các thành viên Irgun và IDF mới được thành lập. Vụ việc chấm dứt khi con tàu bị nã pháo. Sau vụ việc, mọi đơn vị độc lập của Irgun và Lehi hoặc bị giải tán hoặc sáp nhập vào trong IDF. Palmach, một nhóm vận động mạnh bên trong Haganah, cũng gia nhập IDF với một số điều khoản, và Ben Gurion đáp trả bằng cách giải tán cơ cấu của nó năm 1949, sau vụ đó nhiều sĩ quan cao cấp của Palmach nghỉ hưu, đáng chú ý nhất là chỉ huy đầu tiên của nó, Yitzhak Sadeh.

Quân đội mới tự tổ chức trong cuộc Chiến tranh Ả Rập-Israel năm 1948, khi Syria, Liban, Ai Cập, Transjordan, Iraq, Ả Rập Xê Út và Yemen tuyên chiến với Israel. Mười hai Lữ đoàn bộ binh và thiết giáp được thành lập: Golani, Carmeli, Alexandroni, Kiryati, Givati, Etzioni, các lữ đoàn thiết giáp số 7 và số 8, Oded, Harel, Yiftach và Negev.[4] Sau cuộc chiến, một số lữ đoàn được chuyển thành các đơn vị dự bị, và các lữ đoàn khác bị giải tán. Các ban chỉ huy và quân đoàn được thành lập từ các quân đoàn và quân chủng trong Haganah, và cơ cấu căn bản bên trong IDF này vẫn còn tồn tại đến ngày nay.

Ngay sau cuộc chiến tranh năm 1948, Các lực lượng Phòng vệ Israel chuyển sang cuộc xung đột cường đột thấp chống lại các du kích Ả Rập Palestine. Trong cuộc Khủng hoảng kênh Suez năm 1956, thử nghiệm đầu tiên về sức mạnh của IDF sau năm 1949, quân đội mới đã chứng tỏ được khả năng của mình khi chiếm Bán đảo Sinai từ Ai Cập, vùng này sau đó đã được trả lại. Trong cuộc Chiến tranh Sáu Ngày năm 1967, Israel chiếm Bán đảo Sinai, Bờ Tây và Cao nguyên Golan từ các quốc gia Ả Rập láng giềng, làm thay đổi cán cân quyền lực trong vùng cũng như vai trò của IDF. Trong những năm sau đó dẫn tới cuộc Chiến tranh Yom Kippur, IDF đã thực hiện một cuộc chiến tranh tiêu hao chống lại Ai Cập ở Sinai và một cuộc chiến tranh biên giới chống lại PLO ở Jordan, lên tới đỉnh điểm là Trận Karameh.

Cuộc Chiến tranh Yom Kippur đầy bất ngờ và những hậu quả của nó đã làm thay đổi tiến trình và cách tiếp cận chiến tranh của IDF. Những thay đổi trong tổ chức đã được thực hiện[bởi ai?] và IDF dành nhiều thời gian hơn cho huấn luyện chiến tranh thông thường. Tuy nhiên, trong những năm sau đó vai trò của quân đội một lần nữa dần chuyển sang thực hiện chiến tranh cường độ thấp, chiến tranh đô thị và chống chủ nghĩa khủng bố. IDF tham gia vào cuộc Nội chiến Liban, thực hiện Chiến dịch Litani và sau này là cuộc Chiến tranh Liban năm 1982, khi IDF loại bỏ các tổ chức du kích Palestine ra khỏi Liban. Từ đó khả năng chiến đấu của người Palestine là trọng tâm chính của IDF, đặc biệt trong phong trào Intifada lần thứ nhất và lần thứ hai, Chiến dịch Lá chắn Phòng vệ và Chiến tranh Gaza, khiến IDF phải thay đổi nhiều giá trị của mình và đưa ra Tinh thần của IDF. Tổ chức Hồi giáo Shia Hezbollah cũng là một mối đe doạ ngày càng lớn, và để chống lại nó IDF đã thực hiện một cuộc chiến tranh tổng lực năm 2006.